Перейти к основному содержимому

12.3. Примеры конфигурационных файлов

Приложения Apache Ozone: Примеры конфигурационных файлов​

Конфигурационные файлы Apache Ozone играют ключевую роль в настройке и управлении компонентами системы. Основные конфигурационные файлы, такие как ozone-site.xml, core-site.xml и ozone-env.sh, позволяют задавать параметры для Ozone Manager, Storage Container Manager, DataNode и других компонентов. В этом разделе приведены примеры конфигурационных файлов, которые можно использовать в качестве отправной точки для настройки Ozone.

1. Пример конфигурационного файла ozone-site.xml​

Файл ozone-site.xml является основным конфигурационным файлом Ozone. Он содержит параметры, управляющие работой Ozone Manager, Storage Container Manager, S3 Gateway и других компонентов.

Пример ozone-site.xml для кластера с 3 узлами OM и SCM​

<configuration>
    <!-- Настройка адреса Ozone Manager -->
    <property>
        <name>ozone.om.address</name>
        <value>om-host1:9862</value>
    </property>

    <!-- Настройка адресов нескольких узлов OM для высокой доступности -->
    <property>
        <name>ozone.om.nodes</name>
        <value>om1,om2,om3</value>
    </property>
    <property>
        <name>ozone.om.address.om1</name>
        <value>om-host1:9862</value>
    </property>
    <property>
        <name>ozone.om.address.om2</name>
        <value>om-host2:9862</value>
    </property>
    <property>
        <name>ozone.om.address.om3</name>
        <value>om-host3:9862</value>
    </property>

    <!-- Настройка адресов Storage Container Manager -->
    <property>
        <name>ozone.scm.names</name>
        <value>scm1,scm2,scm3</value>
    </property>
    <property>
        <name>ozone.scm.address.scm1</name>
        <value>scm-host1:9860</value>
    </property>
    <property>
        <name>ozone.scm.address.scm2</name>
        <value>scm-host2:9860</value>
    </property>
    <property>
        <name>ozone.scm.address.scm3</name>
        <value>scm-host3:9860</value>
    </property>

    <!-- Параметры репликации данных -->
    <property>
        <name>ozone.scm.replication.factor</name>
        <value>3</value> <!-- Число реплик для обеспечения отказоустойчивости -->
    </property>

    <!-- Настройки S3 Gateway -->
    <property>
        <name>ozone.s3g.address</name>
        <value>0.0.0.0:9878</value>
    </property>
    <property>
        <name>ozone.s3g.volume.name</name>
        <value>s3v</value> <!-- Имя тома по умолчанию для S3 бакетов -->
    </property>

    <!-- Параметры безопасности -->
    <property>
        <name>ozone.security.enabled</name>
        <value>true</value> <!-- Включение безопасности и Kerberos -->
    </property>
    <property>
        <name>ozone.om.kerberos.principal</name>
        <value>om/_HOST@YOUR_REALM</value>
    </property>
    <property>
        <name>ozone.scm.kerberos.principal</name>
        <value>scm/_HOST@YOUR_REALM</value>
    </property>
</configuration>

2. Пример конфигурационного файла core-site.xml​

Файл core-site.xml задаёт основные параметры для всей Hadoop-экосистемы, включая указание файловой системы по умолчанию. Этот файл обычно используется для указания URI кластера Ozone, если он используется с приложениями Hadoop.

Пример core-site.xml для интеграции с Ozone​

<configuration>
    <!-- Указание файловой системы по умолчанию для работы с Ozone -->
    <property>
        <name>fs.defaultFS</name>
        <value>o3fs://bucket.volume.om-host:9862</value>
    </property>

    <!-- Параметр безопасности для Kerberos (если включена безопасность) -->
    <property>
        <name>hadoop.security.authentication</name>
        <value>kerberos</value>
    </property>

    <!-- Настройка параметра для совместимости с S3 API -->
    <property>
        <name>fs.s3a.endpoint</name>
        <value>http://s3g-host:9878</value>
    </property>
</configuration>

3. Пример скрипта ozone-env.sh​

Файл ozone-env.sh используется для настройки переменных среды, которые влияют на работу компонентов Ozone. В этом файле можно задать пути к Java, параметры JVM и другие настройки среды.

Пример ozone-env.sh​

# Указание пути к Java
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

# Настройки JVM для всех компонентов
export OM_OPTS="-Xmx4g -Xms4g"
export SCM_OPTS="-Xmx4g -Xms4g"
export DN_OPTS="-Xmx2g -Xms2g"
export S3G_OPTS="-Xmx2g -Xms2g"
export RECON_OPTS="-Xmx2g -Xms2g"

# Настройка пути к логам
export OZONE_LOG_DIR=/var/log/ozone

# Дополнительные параметры безопасности для Kerberos
export OM_PRINCIPAL=om/_HOST@YOUR_REALM
export SCM_PRINCIPAL=scm/_HOST@YOUR_REALM
export DATANODE_PRINCIPAL=datanode/_HOST@YOUR_REALM

4. Пример файла log4j.properties для настройки логирования​

Файл log4j.properties управляет параметрами логирования Apache Ozone. В этом файле можно настроить уровень логирования для различных компонентов и задать формат вывода.

Пример log4j.properties с ротацией логов​

# Уровень логирования для всех компонентов Ozone
log4j.rootLogger=INFO, file

# Настройка ротации логов для файлов журнала
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=${OZONE_LOG_DIR}/ozone.log
log4j.appender.file.MaxFileSize=100MB
log4j.appender.file.MaxBackupIndex=10
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{ISO8601} [%t] %-5p %c %x - %m%n

# Уровень логирования для Ozone Manager
log4j.logger.org.apache.hadoop.ozone.om=DEBUG

# Уровень логирования для Storage Container Manager
log4j.logger.org.apache.hadoop.ozone.scm=INFO

# Уровень логирования для DataNode
log4j.logger.org.apache.hadoop.ozone.datanode=ERROR

5. Пример конфигурации для высокой доступности (HA)​

Для настройки высокой доступности Ozone требуется сконфигурировать несколько узлов Ozone Manager (OM) и Storage Container Manager (SCM) и использовать Raft для синхронизации данных.

Пример конфигурации ozone-site.xml для HA​

<configuration>
    <!-- Настройка узлов OM для HA -->
    <property>
        <name>ozone.om.nodes</name>
        <value>om1,om2,om3</value>
    </property>
    <property>
        <name>ozone.om.address.om1</name>
        <value>om-host1:9862</value>
    </property>
    <property>
        <name>ozone.om.address.om2</name>
        <value>om-host2:9862</value>
    </property>
    <property>
        <name>ozone.om.address.om3</name>
        <value>om-host3:9862</value>
    </property>

    <!-- Настройка узлов SCM для HA -->
    <property>
        <name>ozone.scm.nodes</name>
        <value>scm1,scm2,scm3</value>
    </property>
    <property>
        <name>ozone.scm.address.scm1</name>
        <value>scm-host1:9860</value>
    </property>
    <property>
        <name>ozone.scm.address.scm2</name>
        <value>scm-host2:9860</value>
    </property>
    <property>
        <name>ozone.scm.address.scm3</name>
        <value>scm-host3:9860</value>
    </property>

    <!-- Включение